DeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal Agents
DeepVoyager-VL:长程多模态循环视觉搜索框架
🧭 多模态Agent · 视觉增强搜索
PKU · HKUST(GZ) · NUDT · OUC · HITSZ
通过多模态事件图合成中间视觉依赖的推理数据,训练Agent主动获取视觉证据驱动多轮搜索。
📌 工作参考价值(4 点)
- 借鉴事件图驱动的数据合成范式,为电商搜索构建包含多轮视觉对比(如商品图、评价截图)的长链推理训练数据,训练具备中间视觉依赖推理能力的搜索Agent。
- 主动视觉获取与按需图像加载设计,可降低多模态搜索Agent在实际应用中的计算开销,适合淘宝等大型商品图像索引场景。
- 纯SFT微调(无需RL)即可显著提升多模态搜索能力,实现简单且稳定,适合业务快速迭代。
- 视觉在循环中的交互模式可迁移至电商导购:通过用户上传的图片逐步澄清需求,动态驱动下一轮检索或提问。